Giáo hoàng Piô XI công bố thông điệp “Rerum Ecclesiae” nhằm mục đích thúc bách địa phương hóa hàng giáo sĩ ở các nước truyền giáo. Tại Việt Nam, từ khi giám mục Tiên khởi Gioan Baotixita Nguyễn Bá Tòng được phong chức năm 1933 đã gây ảnh hưởng lớn đến hàng giáo sĩ bản địa cũng như hàng giáo dân. Hạt Đại diện Tông Tòa Bùi Chu cũng mong muốn có giám mục người Việt Nam lãnh đạo. Tòa Thánh yêu cầu, giám mục Đại diện Tông Tòa Bùi Chu là Munagorri chọn linh mục Hoàng Gia Huệ, đang là chính xứ Ninh Cường nhưng không được hồi đáp. Khâm sứ Tòa Thánh Columban Dreyer sắp xếp gặp gỡ, nhận định và tham khảo ý kiến nhiều người khác nhau và đề nghị Tòa Thánh chọn linh mục Hồ Ngọc Cẩn.[1]

Ngày 12 tháng 3 năm 1935, Giáo hoàng Piô XI ký sắc phong Hồ Ngọc Cẩn làm Giám mục phó Đại diện Tông Tòa Hạt Đại diện Tông tòa Bùi Chu, giám mục Hiệu tòa Zenobia. Lễ tấn phong cho vị tân chức diễn ra vào ngày 29 tháng 6 năm 1935 tại nhà thờ Phú Cam, Huế, do Khâm sứ Columban Dreyer chủ phong với sự phụ phong của hai Giám mục Chabanon Giáo (Hạt Đại diện Tông Tòa Huế) và Gioan Baotixita Nguyễn Bá Tòng (Hạt Đại diện Tông Tòa Phát Diệm), cùng với sự chứng kiến giám mục Allys Lý và Martial Pierre Marie Jannin Phước từ Kon Tum, tổng cộng có 130 người tham dự.[1] Ông trở thành vị Giám mục người Việt thứ 2 sau Giám mục Gioan Baotixita Tòng và là Giám mục đầu tiên được tấn phong trong nước. Sau khi tấn phong, ông lấy tên thánh Giuse, vì thế trong một số tài liệu ghi tên đầy đủ của ông là Giuse Đa Minh Hồ Ngọc Cẩn (Giuseppe Dominique Hồ Ngọc Cẩn).

Hồ Ngọc Cẩn chọn cho mình khẩu hiệ giám mục: “Hết tình nhẫn nhục và tận tâm giáo huấn”. Huy hiệu của ông gồm có một hình thuẫn, trọng tâm là Thánh Tâm Chúa Giêsu với hình vẽ ánh sáng tỏa ra hai phía, một bên hình thuẫn là sông Hương núi Ngự, một bên nhà thờ Bùi Chu, phía dưới là cuốn sách và tràng chuỗi Mân Côi. Huy hiệu của tân giám mục được vẽ bởi họa sĩ Tôn Thất Sa, một giáo sư hội họa ở Huế.[1]

Sáng ngày 1 tháng 8 năm 1935, đoàn xe chở tân giám mục Hồ Ngọc Cẩn từ Huế đến địa phận Bùi Chu. Tại cuối tiệc mừng dịp này, linh mục Gallego (Nam) đọc chúc từ bằng tiếng Pháp, trong đó nêu rõ mong muốn giám mục Hồ Ngọc Cẩn bảo tồn cơ đồ lớn dòng Đa Minh đã truyền giáo 300 năm. Sau khi về Bùi Chu, Hồ Ngọc Cẩn ở tại Tòa giám mục, còn giám mục Đại diện Tông Tòa Munagorri ở Khoái Đồng với giáo sĩ Casado (Thuận) như thói quen. Giám mục Hồ Ngọc Cẩn được dặn không phân xử bất cứ việc kiện cáo gì.[1]

Ngày 17 tháng 5 năm 1936, giám mục Munagorri trao quyền lãnh đạo Địa phận lại cho giám mục Hồ Ngọc Cẩn, và một tháng sau đó, giám mục này qua đợi. Sau lễ an táng giám mục Munagorri, giám mục Hồ Ngọc Cẩn chính thức chấp chính giáo phận. Trước đó, từ này 9 tháng 3 năm 1936, địa phận Bùi Chu đã bị chia tách nhằm thành lập Hạt Đại diện Tông Tòa Thái Bình. Sau khi phân tách, việc bàn giao cơ sở vật chất cũng như vấn đề tài chính giữa hai Địa phận gặp nhiều khó khăn. Cũng trong thời gian này, vấn đề nhân sự cũng nổi bật lên những khó khăn. Hồ Ngọc Cẩn quyết định trưng cầu ý kiến hàng linh mục bằng cách dùng phương pháp thư kín, ngoài ra ông cũng bổ nhiệm các linh mục Quản hạt mới. Trong thời kỳ quản nhiệm, ông đã gửi thư cho hàng linh mục nói về việc linh mục như là các anh em với nhau. Về vấn đề tĩnh tâm các linh mục, suốt 12 năm, Hồ Ngọc Cẩn đích thân giảng chính. – Thư luân lưu gửi hàng linh mục giáo phận, ý đức cha nói giám mục và linh mục là “anh em như thể tay chân” với nhau.[1]